481. Орлов А.И. Статистический контроль по двум альтернативным признакам и метод проверки их независимости по совокупности малых выборок. – Журнал «Заводская лаборатория». 2000. Т.66. No.1. С.58-62.

Метод проверки независимости двух альтернативных признаков
 по совокупности малых выборок

А.И.Орлов1, 2

На основе результатов статистики объектов нечисловойприроды предложен метод проверки независимостидвух альтернативных признаков. Метод нацелен наприменение в задачах статистического контроля качествапродукции. Проверка независимости проводится посовокупности малых выборок, т. е. в асимптотикеКолмогорова, когда число неизвестных параметровраспределения растет пропорционально объему данных.

При статистическом контроле качества продукции, в частности, при сертификации, чаще всего используют контроль по альтернативным признакам. При этом устанавливается, соответствует ли контролируемый параметр единицы продукции (изделия, детали) установленным требованиям ли не соответствует. Если соответствует - единица подукции признается годной, а результат контроля кодируется символом 0. Если не соответствует - единица продукции признается дефектной, а результат контроля кодируется символом 1. ___________________________________________
1Межвузовский центр экономического образования Минобразования РФ (при МГИЭМ), Москва, Россия
2Работа выполнена при поддержке Российского фонда фундаментальных исследований (проект 97-06-80033).
Таким образом, в математической модели контроля альтернативный признак - это функция X = X(w), определенная на множестве единиц продукции W = {w} и принимающая два значения 0 и 1, причем X(w) = 0 означает, что единица продукции w является годной, а X(w) = 1 - что она является дефектной. 
Методы статистического контроля, в частности, включенные в государственные стандарты и иную нормативно-техническую документацию (НТД), как правило, используют контроль по одному признаку, альтернативному или количественному [1]. В НТД указывают правила выбора планов контроля и расчета их характеристик, приводят графики оперативных характеристик и т.п.
Однако на производстве контроль нередко проводится по нескольким альтернативным признакам. Возникает проблема выбора плана контроля и расчета его характеристик.
Рассмотрим сначала контроль по двум альтернативным признакам X(w) и Y(w). В вероятностной модели X(w) и Y(w) - случайные величины. Пусть 
p1 = P ( X(w) = 1) 
-  входной уровень дефектности для первого признака, а
p2 = P ( Y(w) = 1) 
- для второго. Вероятности результатов контроля по двум признакам одновременно описываются четырьмя числами:
P ( X(w) = 0, Y(w) = 0) = p00 , P ( X(w) = 1, Y(w) = 0) = p10 ,
P ( X(w) = 0, Y(w) = 1) = p01 ,  P ( X(w) = 1, Y(w) = 1) = p11 ,
при этом справедливы соотношения: 
p00 + p10 + p01 + p11 = 1,   p10  + p11 =  p1  ,  p01 + p11 = p2 .  
С прикладной точки зрения наиболее интересна вероятность p00 того, что единица продукции является годной (по всем параметрам). 
Есть три важных частных случая - поглощения, несовместности и независимости дефектов, другими словами, поглощения, несовместности и независимости событий {w: X(w) = 1} и {w: Y(w) = 1}. В случае поглощения одно из этих событий содержит другое, а потому 
p00   = 1 - max ( p1 , p2 ) .
В случае несовместности
p00  = 1 -  p1  -  p2 .
В случае независимости  
p00   = (1 - p1 )( 1 - p2 ) =  1 -  p1  -  p2  + p1p2 .
Ояевидно, что вероятность годности изделия всегда заключена между значениями, соответствующими случаям поглощения и несовместности. Кроме того, известно [2], что при большом числе признаков и малой вероятности дефектности по каждому из них случаи поглощения и независимости дают крайние значения для вероятности годности изделия, т.е. формулы, соответствующие независимости и несовместности, асимптотически совпадают.
Как соотносятся характеристики планов контроля по отдельным признакам с характеристиками  плана контроля по двум признакам одновременно? Рассмотрим распространенную рекомендацию - складывать уровни дефектности. Она, очевидно, опирается на гипотезу несовместности дефектов, а потому во многих случаях преувеличивает дефектность. 
Зная специфику применяемых технологических процессов, в ряде конкретных случаев можно предположить, что дефекты по различным признакам возникают независимо друг от друга. Это предположение необходимо обосновывать по статистическим данным. Другими словами, необходимо уметь проверять по статистическим данным гипотезу независимости двух альтернативных признаков. Речь идет о проверке нулевой гипотезы
Н0 :         p11   =   p1p2           (1) 
(что эквивалентно проверке равенства p00 = (1 - p1)(1 - p2)). Нетрудно проверить, что гипотеза о справедливости равенства (1) эквивалентна гипотезе
 Н0 :    p00 p11 - p10 p01  = 0  .      (2)
В простейшем случае предполагается, что проведено n независимых испытаний (Xi , Yi), i = 1,2,...,n, в каждом из которых проконтролированы два альтернативных признака, а вероятности результатов контроля не меняются от испытания к испытанию. Общий вид статистических данных приведен в табл.1. 

Табл. 1. Общий вид результатов контроля 
по двум альтернативным признакам.
	X = 0	X = 1		
Y = 0	a	b	a + b	
Y = 1	c	d	c + d	
	a + c	b + d	n	

В табл.1 величина a - число испытаний, в которых (Xi , Yi) = (0,0), величина b - число испытаний, в которых (Xi , Yi) = (1,0), и т.д.
Случайный вектор (a, b, c, d) имеет мультиномиальное распределение с числом испытаний n и вектором вероятностей исходов (p00 , p10 , p01 , p11 ). Состоятельными оценками этих вероятностей являются a/n, b/n, c/n, d/n соответственно. Следовательно, критерий проверки гипотезы (2) может быть основан на статистике 
Z = ad - bc  .      (3)
Как вытекает из известной формулы для ковариаций мультиномиального вектора (см., например, формулу (6.3.5) в [4, с.153]),
E (Z) = n (p10 p01  -  p00 p11) ,         (4)
что равно 0 при справедливости гипотезы независимости (2).
Связь между переменными X и Y обычно измеряется коэффициентом, отличающимся от Z нормирующим множителем: 
V = (ad - bc) { (a + b)(a + c)(b + d)(c + d) } - 1/2       (5)
(см. [3, с.723]). При справедливости Н0 и больших n случайная величина nV2 имеет хи-квадрат распределение с 1 степенью свободы, а n1/2V имеет стандартное нормальное распределение с математическим ожиданием 0 и дисперсией 1 [3, с.736]. 
Пример. Пусть проведено 100 испытаний, результаты которых описаны в табл.2. Тогда
V = (50 . 20 - 10 . 20) (60 . 70 . 30 . 40)-1/2 = 
= (1000 - 200) . 5940000-1/2 = 800 / 2245 = 0,35635,
n1/2V = 3,5635  .
Табл. 2.  Результаты 100 испытаний
по двум альтернативным признакам.
	X = 0	X = 1		
Y = 0	50	10	60	
Y = 1	20	20	40	
	70	30	100	

Поскольку полученное значение n1/2V превышает критическое значение при любом применяемом в статистике уровне значимости, то гипотезу о независимости признаков необходимо отклонить. 
К сожалению, приведенный простой метод годится не всегда. При статистическом анализе реальных данных возникают проблемы, связанные с отсутствием достаточно больших однородных выборок, т.е. выборок, в которых постоянны параметры вероятностных распределений. Реально единицы продукции представляются на контроль партиями, из каждой партии контролируются лишь несколько изделий, т.е. малая выборка. При этом от партии к партии меняются параметры p00 , p10 , p01 , p11 , описывающие уровень дефектности. Поэтому необходимы статистические методы, позволяющие проверять гипотезу независимости признаков по совокупности малых выборок. Построим один из возможных методов.
Рассмотрим вероятностную модель совокупности k малых выборок объемов n1 , n2 ,..., nk соответственно. Пусть j -я выборка (Xjt , Yjt), t = 1, 2,..., nj , имеет распределение. задаваемое вектором параметров ( p00j , p10j , p01j , p11j ) в соответствии с ранее введенными обозначениями, j = 1,2,...,k .  Будем проверять гипотезу
Н0 :         p11j   =  ( p10j  + p11j ) ( p01j + p11j ),  j = 1,2,...,k ,    (6)
или в эквивалентной формулировке 
 Н0 :         p11j p00j  -  p10j p01j  ,  j = 1,2,...,k .     (7)
Основная идея состоит в нахождении асимптотического распределения статистики типа n1/2V при росте числа k малых выборок, а именно, статистики
 S = g1 Z1 +  g2 Z2 + ... +  gk Zk ,          (8)
где Z1 , Z2 ,..., Zk - статистики, рассчитанные по формуле (3) для каждой из k  выборок, т.е. Zj = ajdj - bjcj , j = 1,2,...,k, а g1 , g2 , ... , gk - некоторые весовые коэффициенты, которые, в частности, могут совпадать. Поскольку
 E(S) = g1 E(Z1) +  g2 E(Z2) + ... +  gk E(Zk) ,  (9)
то при справедливости гипотезы (6) - (7) независимости  E(S) = 0 согласно соотношению (4). Поскольку слагаемые в (8) независимы, то при росте k случайная величина S в силу Центральной Предельной Теоремы является асимптотически нормальной. Дисперсия этой величины равна сумме дисперсий слагаемых:
 D(S) = g12 D(Z1) +  g22 D(Z2) + ... +  gk2 D(Zk) .          (10)
Для оценивания дисперсии S необходимо использовать несмещенные оценки дисперсий в каждой из k выборок. Предположим, что построены статистики Tj такие, что 
E(Tj) = D(Zj) , j = 1,2,...,k .  (11)
Тогда при некоторых математических "условиях регулярности", на которых нет необходимости останавливаться в данной статье, несмещенная оценка дисперсии статистики S, имеющая согласно формулам (10) и (11) вид 
 L = g12 T1 +  g22 T2 + ... +  gk2 Tk ,         (12)
в силу закона больших чисел такова, что дробь  D(S) / L приближается к 1 при росте числа выборок (сходимость по вероятности). Отсюда следует, что распределение случайной величины Q = S L-1/2 приближается при росте числа выборок к стандлартному нормальному распределению с математическим ожиданием 0 и лисперсией 1. Следовательно, критерий проверки гипотезы (6) - (7) независимости признаков, состоящий в том, что при - 1,96 < Q < 1,96 гипотеза принимается, а при Q , выходящих за пределы интервала  (- 1,96 ; 1,96) , гипотеза отклоняется, имеет уровень значимости, приближающийся к 0,05 при росте числа выборок. Мощность этого критерия зависит от величины E(S)D(S)-1/2 при альтернативе.
Для реализации намеченного плана осталось научиться несмещенно оценивать D(Zj). К сожалению, в литературе по несмещенному оцениванию не рассматривают случай мультиномиального распределения [5], поэтому кратко опишем процедуру построения несмещенной оценки D(Zj). Поскольку согласно формулам (3) и (4) 
D(Zj) = E ( Zj2 ) - (E ( Zj ))2  = E (aj2dj2) - 2 E (ajbjcjdj) + 
+ E (bj2cj2) + nj2 (p11j p00j  -  p10j p01j )2,       (13)
то для вычисления D(Zj) достаточно найти входящие в правую часть формулы (13) начальные смешанные моменты мультиномиального распределения (четвертого порядка). Теоретически это просто - известен вид характеристической функции мультиномиального распределения (см., например, формулу (6.3.4) в [4, с.152]), а начальные смешанные моменты равны значениям ее соответствующих производных в 0,  деленным на нужную степень мнимой единицы (формула (5.2.3) в [4, с.131]). Например, с помощью описанной процедуры после некоторых вычислений получаем, что (для упрощения записи здесь и далее опустим индекс j )
E (a2d2) = n(n-1)(n-2)(n-3)p112p002 + n(n-1)(n-2)(p112p00 +
+ p11 p002 ) + n(n-1)p11 p00           .        (14)
Формула (14) показывает, что начальные смешанные моменты мультиномиального распределения являются многочленами от параметров p11, p00,  p10, p01 этого распределения, однако конкретный вид этих многочленов достаточно громоздок, поэтому не будем их здесь выписывать, ограничившись формулой (14) в качестве образца. 
Как вытекает из формул (13) и (14), для построения несмещенной оценки  D(Zj) достаточно научиться несмещенно оценивать произведения типа p11r p00m , где целые неотрицательные числа r, m не превосходят 2. Эта задача решается, начиная с меньших  степеней. Известно, что для ковариации мультиномиального вектора 
E (ad) = - n  p00 p11     (15)
(см., например, формулу (6.3.5) в [4, с.153]), а потому несмещенной оценкой для p00 p11 является ( - ad / n ). Далее, поскольку справедлива аналогичная (14) формула
E (a2d) = n(n-1)(n-2) p11p002 + n(n-1)p11 p00           ,        (16)
то с помощью формулы (15) преобразуем формулу (16) к виду
E (a2d + (n-1)ad ) = n(n-1)(n-2) p11p002            ,        (17)
т.е. несмещенной оценкой p11p002 является ad(a + n-1){n(n-1)(n-2)}-1.
Следующий шаг - аналогичным образом с помощью формул (15) и (17) получаем несмещенную оценку для p112p002, а затем и для D(Zj) . Промежуточные формулы опущены из-за громоздкости. Окончательный результат таков:
Tj =  (bj + dj )( cj + dj) ( aj+ cj )( aj + bj ) (n-1)-1 .  (18)
Как легко видеть, 
Zj / Tj-1/2 = (nj -1)1/2 Vj  ,
т.е. в случае одной выборки предлагаемый метод совпадает с классическим. 
Общая идея рассматриваемого метода проверки гипотез по совокупности малых выборок состоит в том, что подбирается статистика, математическое ожидание которой для каждой малой выборки равно 0 при справедливости проверяемой гипотезы. Затем для каждой выборки строится несмещенная оценка дисперсии этой статистики. Статистика критерия для проверки гипотезы - это сумма рассматриваемых статистик для всех малых выборок, деленная на квадратный корень из суммы всех несмещенных оценок. При стправедливости нулевой гипотезы эта статистика имеет стандартное нормальное распределение (при выполнении некоторых математических "условий регулярности", которые обычно выполняются при анализе реальных статистических данных).  
Впервые такой способ проверки гипотез по совокупности малых выборок был предложен в монографии [6, раздел 4.5].  Нестандартность постановки состоит в том, что число неизвестных параметров растет пропорционально объему данных, т.е. имеет место т.н. "асимптотика Колмогорова", или асимптотика растущей размерности (обзор этого направления в статистике дан в докладе [7]). Дальнейшее развитие идей [6] применительно к данных типа "да"-"нет" (или "годен"- "дефектен") шло в рамках теории люсианов как части статистики объектов нечисловой природы (см. обзор [8]). Основные полученные результаты описаны в статье [9] и диссертации [10]. В настоящей статье рассматриваемый подход обобщен на случай выборок различных объемов и применен к задачам статистического контроля качества продукции.

Литература
1. Орлов А.И. / Заводская лаборатория. 1997. Т.63. № 3. С.55-62.
2. Орлов А.И. - В сб.: "Статистика, вероятность, экономика". - М.: Наука, 1985. - С.323-326.
3. Кендалл  М.Дж., Стьюарт А. Статистические выводы и связи. М.: Наука, 1973, 900 с.
4. Уилкс С. Математическая статистика. - М.: Наука, 1967, 632 с.
5. Воинов В.Г., Никулин М.С. Несмещенные оценки и их применения. - М.: Наука, 1989. - 440 с.
6. Орлов А.И. Устойчивость в социально-экономических моделях. - М.: Наука, 1979. - 296 с.  
7. Сердобольский В.И., Орлов А.И. - В сб.: "Тезисы докладов III Всесоюзной школы-семинара "Программно-алгоритмическое обеспечение прикладного многомерного статистического анализа". - М.: ЦЭМИ АН СССР, 1987. - С.151-160.
8. Орлов А.И. / Заводская лаборатория. 1995. Т.61. № 5. С.43-51.
9. Орлов А.И., Рыданова Г.В. - В сб.: Программно-алгоритмическое обеспечение анализа данных в медико-биологических исследованиях. Материалы I Всесоюзной школы-семинара. - Пущино: НЦБИ АН СССР, 1986. - С.61-71.
10. Рыданова Г.В. Некоторые вопросы статистического анализа случайных бинарных векторов. Дисс. ... канд.физ.-мат.наук. - М.: Факультет вычислительной математики и кибернетики МГУ, 1987. - 137 с.